more OsPath conversion

keyFile has a nice improvement; since a Key is a ShortByteString, it can
be converted to an OsPath without needing the copy that was done before.

Unfortunately, fileKey has to convert from a ShortByteString to a
ByteString in order to use attoparsec, and then the results get
converted back to an OsPath, so there are now 2 copies.
Maybe attoparsec will eventually get a ShortByteString API,
see https://github.com/haskell/attoparsec/issues/225

Sponsored-by: Joshua Antonishen

optimise literalOsPath

Taking a ShortByteString and using OverloadedStrings should avoid it
being converted from a String.

The reason there is no IsString instance for OsPath is presumably the
bad behavior of IsString for ByteString on unicode btw. But
literalOsPath won't be used with unicode in git-annex.

Sponsored-by: unqueued

more OsPath conversion

more OsPath conversion

OsPath conversion

Decent win in exportDirectories, since it operates on ShortByteString
end to end now without needing conversion. That made it worth
implementing an OsPath specific code path there.

And ExportLocation already being a ShortByteString is an good example of why
it's a good thing that OsPath uses that!

Sponsored-by: k0ld on Patreon

Merge branch 'master' into ospath

Merge branch 'master' of ssh://git-annex.branchable.com

windows build fix

more OsPath conversion

Finally reached Annex code in this conversion.

Sponsored-by: Graham Spencer

Added a comment

Merge branch 'master' into ospath

another windows build fix

more OsPath conversion

Sponsored-by: Leon Schuermann

Merge branch 'master' into ospath

more windows and osx build fixes

more OsPath conversion

Sponsored-by: Eve

Merge branch 'master' into ospath

more windows and osx build fixes

more OsPath conversion

About 1/10th done with this I think.

Merge branch 'master' into ospath

Merge branch 'master' of ssh://git-annex.branchable.com

windows and osx build fixes for recent ByteString conversion work

avoid build warning on windows

remove a few unused imports on windows

Added a comment

Added a comment

more OsPath conversion

Git.Types now uses it, as does TopFilePath, making for plenty of new
compile errors needing fixing.

Sponsored-by: Brock Spratlen

complaining about dead

Added a comment

continue conversion

Add Utility.OsString, with a special case for length.

add System.FilePath to this conversion

It seems to make sense to convert both System.Directory and
System.FilePath uses to OsPath in one go. This will generally look like
replacing RawFilePath with OsPath in type signatures, and will be driven
by the now absolutely massive pile of compile errors.

Got a few modules building in this new regime.

Sponsored-by: Jack Hill

update

start converting from System.Directory to System.OsPath

This is the start of a long road, got the first few files to compile
after this large change.

Sponsored-by: mycroft

response

Merge branch 'master' of ssh://git-annex.branchable.com

parsePOSIXTime ByteString conversion

Some easy (though tiny) speed wins.

Sponsored-by: Luke T. Shumaker on Patreon

fix reversion

af3b9cbd3647ecfb3f3f6c4008dc9e64f7d42591 lost takeFileName, breaking the
test suite

convert from readFileStrict

This removes that function, using file-io readFile' instead.

Had to deal with newline conversion, which readFileStrict does on
Windows. In a few cases, that was pretty ugly to deal with.

Sponsored-by: Kevin Mueller

fix reversion

In 793ddecd4b72a5e4746b3b426d3bca400737118b, writeSshConfig was made to
writeFile a ByteString, which lost the newline conversion on Windows.

Added linesFile to fix it. This will also be useful for other writeFile
conversions.

convert from readFileStrict

In cases where it reads lines, which needs newline conversion on
windows.

convert from readFileStrict

More of these still to convert, but need to be careful of newline
translation.

fix reversion

793ddecd4b72a5e4746b3b426d3bca400737118b made installWrapper not do
newline conversion on windows.

use file-io for readFile/writeFile/appendFile on ByteStrings

These are all straightforward, and easy small performance wins.

Sponsored-by: Nicholas Golder-Manning

RawFilePath conversion for replaceFile

Sponsored-by: Joshua Antonishen

simplify replaceFile using relatedTemplate

Now that truncateFilePath and relatedTemplate have both been optimised,
may as well use them in replaceFile, rather than the custom hack it
used.

Removed the windows-specific ifdef as well, because on Windows long
filepaths no longer really a problem, since ghc and git-annex use UNC
converted paths.

replaceFile no longer checks fileNameLengthLimit. That took a syscall,
and since we have an existing file, we know filenames of its length are
supported by the filesystem. Assuming that the withOtherTmp directory is
on the same filesystem as the file replaceFile is being called on, which
I believe it is.

Sponsored-by: Leon Schuermann

optimize truncateFilePath

Often the filepath will be all ascii, or mostly so, and this
optimisation makes a file that has an ascii suffix of sufficient length
be roundtrip converted between String and ByteString only once, rather
than once per character.

Sponsored-by: Graham Spencer

optimize relatedTemplate

break out templateAddedLength

use openTempFile from file-io

And follow-on changes.

Note that relatedTemplate was changed to operate on a RawFilePath, and
so when it counts the length, it is now the number of bytes, not the
number of code points. This will just make it truncate shorter strings
in some cases, the truncation is still unicode aware.

When not building with the OsPath flag, toOsPath . fromRawFilePath and
fromRawFilePath . fromOsPath do extra conversions back and forth between
String and ByteString. That overhead could be avoided, but that's the
non-optimised build mode, so didn't bother.

Sponsored-by: unqueued

rename forum/reupload_existing_files_to_bare_repo.mdwn to forum/reuploads_existing_files_to_bare_repo.mdwn

Added a comment: Exporting a synced/* branch works now! 🥳

add file-io to build-depends when building with OsPath flag

Partly converted code to use functions from it, though more remain
unconverted. Most of withFile and openFile now use it.

avoid build warning with recent ghc

foldl' is in Prelude now. Explicitly import Data.List still
for older systems and add explict Prelude import to avoid warning.

rename OsString to OsPath

clean up stack.yaml with new versions of dependencies

RawFilePath conversion for Utility.Directory.Stream

RawFilePath conversion of System.Directory

By using System.Directory.OsPath, which takes and returns OsString,
which is a ShortByteString. So, things like dirContents currently have the
overhead of copying that to a ByteString, but that should be less than
the overhead of using Strings which often in turn were converted to
RawFilePaths.

Added Utility.OsString and the OsString build flag. That flag is turned
on in the stack.yaml, and will be turned on automatically by cabal when
built with new enough libraries. The stack.yaml change is a bit ugly,
and that could be reverted for now if it causes any problems.

Note that Utility.OsString.toOsString on windows is avoiding only a
check of encoding that is documented as being unlikely to fail. I don't
think it can fail in git-annex; if it could, git-annex didn't contain
such an encoding check before, so at worst that should be a wash.

stop exporting Utility.SystemDirectory from Utility.Directory

update

update

relax annex-tracking-branch to allow "/"

Allow setting remote.foo.annex-tracking-branch to a branch name that
contains "/", as long as it's not a remote tracking branch.

Merge branch 'master' of ssh://git-annex.branchable.com

Support help.autocorrect settings "never" and "immediate"

Support help.autocorrect=prompt

Report bug that one can't export synced/ branches

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment: Feature idea

Added a comment: Still happening, managed to get a reproduction (maybe ?)

comment

add news item for git-annex 10.20250115

releasing package git-annex version 10.20250115

arm autobuild moved to sparrow

preparing release

rsync security fix for bundled builds

I have updated all linux builds.

Merge branch 'master' of ssh://git-annex.branchable.com

pre-init config and hook

Added annex.pre-init-command git config and pre-init-annex hook that is run
before git-annex repository initialization.

This can block initialization. Or it can preform pre-initialization
configuration or tweaking.

I left stdio connected while it's running, so it could also be used for
interactive prompting conceivably, although that would want to use /dev/tty
anyway probably in order to not pollute the stdout of a command when
automatic initialization is done.

Sponsored-by: Dartmouth College's OpenNeuro project

Added a comment

comment

update

comment

document files

Merge branch 'master' of ssh://git-annex.branchable.com

todo

kind of a bug, but I'm not sure if it can be fixed

update

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

added hooks corresponding to annex.*-command

* Added freezecontent-annex and thawcontent-annex hooks that
  correspond to the git configs annex.freezecontent and
  annex.thawcontent.
* Added secure-erase-annex hook that corresponds to the git config
  annex.secure-erase-command.
* Added commitmessage-annex hook that corresponds to the git config
  annex.commitmessage-command.
* Added http-headers-annex hook that corresponds to the git config
  annex.http-headers-command.
  that correspond to the post-update-annex and pre-commit-annex hooks.

The use case for these is eg, setting up a git repository that is run in a
container, where the easiest way to provide a script is by putting it in
.git/hooks/, rather than copying it into the container in a way that puts
it in PATH.

This is all the ones that make sense to add for annex.*-config git configs.
annex.youtube-dl-command is not a hook, it's telling git-annex what command
to run. So is annex.shared-sop-command. So omitted those.

May later also want to add hooks corresponding to
`remote.<name>.annex-cost-command` etc.

Sponsored-by: the NIH-funded NICEMAN (ReproNim TR&D3) project

Added a comment: on the init hook

configs annex.post-update-command and annex.pre-commit-command

Added git configs annex.post-update-command and annex.pre-commit-command
that correspond to the git-annex hook scripts post-update-annex and
pre-commit-annex.

Note that the hook files take precience over the git config, since the git
config can includ global config which should be overridden by local config.

These new git configs are probably not super useful. Especially the
pre-commit-annex hook is there to install scripts to instead of the
pre-commit hook, since git-annex installs that hook itself. So why would
someone want to use a git config for that? Only reason I can think of would
be in a global git config. Or possibly because it's easier to set a git
config than write a hook script, on an OS like Windows.

The real reason I'm adding these is as groundwork for making other
annex.*-command git configs also be available as hook scripts. I want
to avoid having some things available as only git hooks and others as
both gitconfigs and git hooks. (It seems that some annex.*-command configs
don't translate to git hooks though.)

In the man page, moved documentation of the hooks to be next to the
documentation of the git configs. This is to avoid repitition.

allocate this development to openneuro - we need to curate/process datasets from/for openneuro on discovery

comment